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Восприятие и обработка изображений 
в системах реального времени 


У статті розглянуті вимоги до систем сприйняття і обробки зображень у реальному часі. Показано, що 
традиційні основи і принципи побудови відеосистем реального часу не враховують особливостей 
роботи в реальному часі та особливостей розв'язуваних задач як в технічному, так і в інформаційному 
та методичному планах. Як прототип видеосистем реального часу пропонується розглядати зоровий 
аналізатор людини. Розглядаються найбільш важливі для забезпечення високих вимог реального часу 
фізичні особливості зорового аналізатора, зокрема, висока вибірковість та широке розпаралелювання 
нейронної мережі при обробці інформації. 

Ключові слова: сприйняття і обробка зображень, реальний час, зоровий аналізатор людини, 
інтелектуальне сприйняття, розпаралелювання. 
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В статье рассмотрень требования к системам восприятия и обработки изображений в реальном 
времени. Показано, что традиционньюе основь и принципь построения видеосистем реального 
времени не учитьвают особенностей работьт в реальном времени и особенностей решаємьгх задач как 
в техническом, так и информационном и методическом планах. В качестве прототипа видеосистем 
реального времени предлагаєтся рассматривать зрительньй анализатор человека. Рассматриваются 
наиболее важньве для обеспечения требований реального времени физические особенности зритель- 
ного анализатора, в частности, вьтокая избирательность и широкое распараллеливаниє нейронной 
сети при обработке информации. 
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Вступ 


Системи технічного зору, робототехнічні комплекси, системи віртуальної реаль- 
ності, системи охорони та оборонного призначення, ряд систем в медицині та біології 
тощо є системами реального часу. 

В залежності від функцій, які виконуються відеосистемами в реальному часі, можна 
виділити: 

- системи реєстрації відеоінформації (передача, запам'ятовування); 

- системи генерації зображень (генерація/синтез зображень, ігри тощо); 

- системи із зворотним зв'язком (слідкування за об'єктом, наведення, вимірювання 
геометричних розмірів, колірності, автоматизація виробничих процесів, контроль друко- 
ваних плат, контроль якості продукції, робототехнічні комплекси, управління транс- 
портними засобами тощо), в яких результати обробки інформації в реальному часі викори- 
стовуються для управління процесом, або інших дій. Ці системи висувають підвищені 
вимоги не тільки до продуктивності обчислювальних засобів, але і до запізнювання 
інформації в контурі зворотного зв'язку. 

У цих умовах, крім виконання основних функцій по уведенню та обробленню відео- 
інформації, такі системи повинні мати можливості адаптації до: типу освітлення (сонячне, 
від ламп розжарювання, люмінесцентне, світлодіодне тощо), змін яскравості, змін 
відстані до об'єкта спостереження (тобто автоматичне фокусування) тощо. Але ці про- 
цеси адаптації, звичайно, значно повільніші порівняно з досліджуваними сценами або ру- 
хомими об'єктами, тому вони здійснюються з меншою дискретністю у часі. 

Найбільшої продуктивності вимагає попередня обробка відеоінформації, зокрема: 
фільтрація від завад, покращення зображення, обчислення гістограм, законів розподілу 
значень яскравості чи колірності, Фур'є-перетворення, сегментація, виділення динамі- 
чних змін, контурів і об'єктів із заданими властивостями, визначення параметрів афін- 
них перетворень та нормалізація зображень тощо. 

Попередня обробка зображень здебільшого виконується багаторазово над кожним 
пікселом, тому й вимагає значно більше часу. 

Стан проблеми. Для побудови відеосистем реального часу використовують 
традиційні (звичайні) відеокамери з фіксованими параметрами зчитування відеоін- 
формації з сенсора, (що зумовлює велику надлишковість подання зображень і відео- 
послідовностей), покадровим уведенням і обробкою інформації, пристосувавши їх 
конструктивно до виробничих умов. 

Для обробки відеоінформації використовують, в більшій частині, процесори, з 
якими звикли працювати в офісах, а при недостачі продуктивності процесора беруть 
процесор з більшою продуктивністю. Відеокамера і процесор не інтегруються в 
одному пристрої, що приводить до передачі значних масивів інформації між ними. 

Для визначення об'єму інформації у відеопослідовності звичайно використо- 
вується потенційна оцінка на основі амплітудно-просторової та часової роздільності 


Свл. 7 пе 22231 

де Х і У - розміри поля зображення; 7 - координата яскравості зображення; Ах, 
Ду, 92, Ді - дискретність представлення відповідних координат зображення. 

Значення Х, У і 7 у формулі прийняті фіксованими і рівними максимальному зна- 
ченню, фіксованими є і значення Лх, Ду, 67, ДІ , тому такий підхід дає оцінку зверху кіль- 
кості інформації, що є дуже завищеною, і не вказує шляхів скорочення надлишковості 
цифрового представлення зображень. 
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Потенційна оцінка відбиває методи і засоби знімання зображень за допомогою 
традиційних відеокамер і використовується при розрахунку необхідної пропускної 
здатності каналів зв'язку для передачі зображення, об'єму пам'яті для збереження 
зображення і продуктивності обчислювальних засобів для його обробки. 

Якщо проводиться стиснення інформації, то використовується або 
Хафманівське кодування відліків у відповідності з ймовірностями їх появи згідно з 
Шенонівською мірою інформації, при якому втрачається величина параметрів і для 
обробки їх потрібно декодувати, або традиційні методи стиснення )РЕС (для 
статичних зображень) та МРЕС (для відеопослідовностей), при яких відліки сигналу 
перетворюються в коефіцієнти Фур'є, які також не можна обробляти. 

І взагалі, методи компресії статичних і динамічних зображень розроблялись 
для систем передачі та запам'ятовування інформації, вони зовсім не придатні для 
систем реального часу із зворотним зв'язком та не забезпечують мінімізації 
запізнення інформації. 

Послідовний процес уведення кадру зображення, а потім його оброблення, 
приводять до затримки інформації в контурі зворотного зв'язку як сума часу виконання 
цих двох процесів, навіть при виконанні їх у конвеєрі (уведення поточного кадру 
зображення та обробка попереднього). 

При розв'язанні практичних задач традиційно використовуються статичні мо- 
делі, які не враховують знання, отримані на попередньому кадрі, що приводить до 
втрати ефективності. 

Для швидкого пошуку об'єкта в зображенні використовуються механізми уваги |! |, 
які базуються на принципах ієрархічної або пірамідальної організації зорового аналізато- 
ра людини, для чого найбільш часто використовують піраміди Лапласа або Гауса |21, 31. 

При цьому спочатку зчитується з відеосенсора повне зображення сцени, яке потім 
згладжується та проріджується, в 4 рази зменшуючи об'єм інформації. 

Процедура повторюється декілька разів, приводячи до грубого представлення 
зображення, на якому значно простіше проводити пошук об'єкта за заданими пара- 
метрами. 

Така процедура спочатку була розроблена для стиснення інформації при необ- 
хідності передачі зображення 1 дійсно забезпечувала значне стиснення зображення та 
можливість відновлення повного зображення. 

Потім ця процедура, без достатнього аналізу, була використана для швидкого по- 
шуку об'єктів, але в системах реального часу вона, вимагаючи значної обробки інфор- 
мації, приводить до додаткових затримок інформації в контурі зворотного зв'язку. 

Крім того ця процедура не відповідає процесам сприйняття зображень у зоровому 
аналізаторі людини. 

Таким чином, традиційні основи і принципи побудови відеосистем реального часу 
не враховують особливостей роботи в реальному часі та особливостей розв'язуваних 
задач як в технічному плані, так і в інформаційному та методичному. 


Постановка задачі 


Проблема сприйняття і обробки зображень у системах реального часу вимагає 
розробки нових інформаційних основ з мінімальною надлишковістю інформації, нових 
моги конкретної задачі, нових динамічних моделей 1 механізмів для швидкого пошуку 
об'єктів та слідкування за ними, нових архітектур паралельних процесорів для обробки 
зображень. 
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Тому метою даної роботи є вдосконалення інформаційних основ підвищення ви- 
бірковості, розробка динамічних моделей та принципів управління параметрами зчиту- 
вання відеоінформації, вдосконалення принципів ієрархічного інтелектуального сприй- 
няття та швидких методів пошуку, принципів суміщення уводу з обробкою інформації 
та паралельної обробки інформації безпосередньо на сенсорі. 


Зоровий аналізатор людини 
як прототип систем технічного зору 


Для оптимізації процесів уведення, сприйняття та обробки зображень як прототи- 
пу розглядається зоровий аналізатор людини, який вдосконалювався протягом тисячо- 
літь існування людства. Аналіз зорового аналізатора людини дозволив виділити близь- 
ко 300 його функцій, конструктивних (структурних) та фізичних особливостей будови, 
механізмів та процесів, які відбуваються в зоровій системі |4), (5). 

Найбільш важливими з них для забезпечення високих вимог реального часу є 
наступні: 

- висока вибірковість зорового аналізатора, 

- механізми уваги та адаптації, 

- суміщення процесів уведення і обробки зображень, 

- спеціалізація нейронів на кожному рівні на виконання специфічних функцій, 

- широке розпаралелювання нейронної мережі для багаторівневого сприйняття 
відеоінформації. 

Висока вибірковість зорового аналізатора базується на широкому полі огляду пери- 
ферійного зору з невисокою роздільною здатністю, яке реалізує функції збудження та 
спрямування погляду (механізм уваги) і концентрації роздільної здатності в зоні ямки 
сітківки ока, яка служить як деякий зонд для дослідження зовнішнього світу. Високорі- 
вневе управління рухами очей визначається поставленою задачею (пошук, розглядання, 
стеження, розпізнавання тощо) та забезпечує розв'язання цих задач. 

В роботах |б|, |7) запропонований метод інтелектуального селективного сприй- 
няття, який за аналогією з зоровим аналізатором людини базується на широкому полі 
огляду з невисокою роздільною здатністю для швидкого пошуку об'єктів та наступному 
зчитуванні частини зображення для подальшого його розглядання, вимірювання, роз- 
пізнавання. Спочатку зчитується проріджене зображення або послідовно окремі рядки 
зображення з деяким кроком, який враховує геометричні розміри шуканого об'єкта, 
шукається об'єкт за заданими ознаками (наприклад, за кольором), визначаються його 
габаритні розміри 1 в цих габаритах зчитується уточнене зображення об'єкта для роз- 
пізнавання. На відміну від відомих методів фовеального та пірамідального (за Лапласом 
та Гаусом) |2,|, |3| сприйняття відеоінформації, він орієнтований на системи реального 
часу, не вимагає зчитування всього зображення з високою роздільністю та додаткової 
обробки інформації для формування піраміди зображень. 

Тобто має місце перевернута піраміда. Це дозволило значно зменшити кількість 
оброблюваної інформації, підвищити продуктивність і ефективність систем технічного 
зору. При цьому розроблені оригінальні методи швидкого пошуку за ознаками кольору, 
руху, текстури та форми. 

Крім того, технічні можливості сучасних відеосенсорів, створених по КМОН- 
технології, які легко перепрограмовуються в процесі сприйняття відеоінформації на 
зчитування розрідженого, фізично повного або більш детального (з інтерполяцією між 
сусідніми пікселами) зображення, дозволяють це забезпечити. 
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У той же час, відеосистеми реального часу при роботі в автоматичному режимі 
крім адаптації до умов відеозйомки для ефективної роботи системи вимагають ще й 
адаптації до розв'язуваної задачі, що може бути забезпечено шляхом врахування деяких 
особливостей задачі та за рахунок зміни зазначених параметрів зчитування зображень і 
відеопослідовностей. Тому така спеціалізація в поданні зображень і відеопослідовностей 
дозволяє одержати нові шляхи підвищення вибірковості та зменшення надлишковості. 

Крім грубо-точного сприйняття візуальної інформації по простору (тобто в корди- 
натах Х, У) око людини реагує не на величину яскравості або колірності в зображенні, а 
на зміни цих величин між значеннями яскравості сусідніх рецепторів, або значеннями 
яскравості даного рецептора у часі, тобто на динаміку цього параметра. 

У залежності від динаміки процесів, які спостерігає зорова система людини, від 
рівня освітлення, необхідності розглядання великих або мілких деталей в зображенні, 
діють адаптаційні механізми, що управляють типами рухів очей, їх швидкістю, чутли- 
вістю рецепторів тощо. Тому і в системах технічного зору також доцільно управляти ча- 
стотою зчитування відеоінформації, коефіцієнтом підсилення та розрядністю її подання. 

Таким чином, для реалізації інтелектуального вибіркового сприйняття зображень 
необхідно забезпечити наступні можливості |бЇ: 

- управління роздільною здатністю по простору; 

-зчитування довільної прямокутної ділянки зображення; 

- виділення динамічної інформації; 

- управління розрядністю яскравості або колірності; 

- управління частотою відеозйомки. 

В залежності від поставленої перед системою технічного зору задачею можна ви- 
ділити ряд типових режимів або етапів, які по аналогії пов'язані з рухами очей та осо- 
бливостями сприйняття відеоінформації зоровим аналізатором людини: 

- пошук об'єкта за ознаками; 

- розглядання (розпізнавання, порівняння, вимірювання) об'єкта; 

- слідкування за об'єктом; 

- панорамування сцени. 

Можливість управління параметрами зчитування інформації з відеосенсора може 
бути ефективно використана при реалізації стратегії «механізмів уваги» (1), |6|, (7), яка 
базується на швидкому, грубому аналізі статичного або динамічного зображення, з послі- 
дуючим детальним аналізом знайденого об'єкта з метою виділення яких-небудь ха- 
рактерних інформаційних ознак: яскравісних, колірних, динамічних, геометричних 
(меж областей, горизонтальних та вертикальних ліній, кутів тощо). Стратегія є адаптив- 
ною, тобто пристосовується до статистики ознак зображення та дозволяє значно змен- 
шити загальний обсяг обчислень. 

Важливим моментом для забезпечення оперативної роботи в реальному часі є сумі- 
щення процесів уведення та оброблення інформації. Для цього необхідно замінити по- 
кадрове уведення зображення, уведенням його меншими порціями, наприклад, поряд- 
ково. Тут можна використати декілька каналів прямого доступу до пам'яті, один з яких 
забезпечить надходження нових порцій інформації з відеосенсора, а другий - зчи- 
тування попередніх порцій для оброблення на процесорі. При цьому процесор в значній 
мірі звільняється від процесів уведення і ефективно використовується для оброблення 
інформації. Суміщення процесів дозволяє після закінчення уводу зображення з міні- 
мальною затримкою у часі визначити параметри управління відеосенсором на наступний 
кадр зображення, тобто значно зменшити затримку інформації в контурі зворотного 
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зв'язку. Процес експонування поточного кадру також доцільно сумістити з уведенням 1 
обробленням попереднього кадру, що також зменшує запізнення в контурі зворотного 
зв'язку та підвищує динамічні можливості відеоприладу. 

Таким чином, забезпечення можливості управління параметрами зчитування ін- 
формації з відеосенсора, суміщення уводу інформації з її обробкою та використання 
різних мір інформації для різних задач і режимів створює умови інтелектуального 
сприйняття відеоінформації за рахунок значного підвищення вибірковості та адап- 
тації пристрою під особливості задач, спрощує обробку та підвищує оперативність і 
ефективність систем технічного зору. 

З іншої сторони, паралельний характер отримання зображення сенсорною матри- 
цею погано узгоджується з послідуючими послідовними процесами аналого-цифрового 
перетворення та обробки інформації, що обмежує продуктивність цих процесів. 

І хоча в швидкісних відеокамерах зчитування відеоінформації з сенсора здій- 
снюється паралельно по рядкам, використовуючи для цього сотні аналого-цифрових 
перетворювачів та послідуючих процесорів для обробки таких масивів інформації, 
ефективність використання обладнання залишається невисокою. 

Особливістю попередньої обробки інформації є багаторазове повторювання алгори- 
тму над різними масивами пікселів зображення, що, з однієї сторони, приводить до 
обробки великих масивів інформації, а з другої сторони, створює умови для проблемної 
орієнтації і спеціалізації засобів обробки інформації. Тому основна увага буде приділена 
цьому класу обробки зображень. 

Сенсорна матриця забезпечує паралельне сприйняття зображення, але послідуюче 
аналого-цифрове перетворення та обробка зображення звичайно виконуються послі- 
довно або з невисоким степенем паралелізму. Це приводить до необхідності програму- 
вання цих процесів, що значно обмежує продуктивність уводу та обробки зображень. 
Сучасний стан розвитку мікроелектроніки, зокрема КМОН-технологія, дозволяє реалі- 
зувати на кристалі як сенсорну матрицю, так і один або декілька шарів обробки інфор- 
мації. Тому значні резерви підвищення ефективності обробки зображень мають місце 
при проведенні аналого-цифрового перетворення зображення та його обробки безпосе- 
редньо на сенсорній матриці. Хоча при реалізації паралельної обробки має місце значна 
надлишковість у представленні інформації, однак за рахунок однорідної обробки інфор- 
мації, зменшення пересилок та запам'ятовування, відсутності програмування послі- 
довних процесів, також можливе підвищення ефективності обробки шляхом оптимізації 
обчислювального процесу. Розглянемо деякі особливості такої реалізації. Зокрема, пара- 
лельно можуть виконуватись: значні резерви підвищення продуктивності та ефекти- 
вності обробки зображень мають місце при проведенні бінаризації, аналого-цифрового 
перетворення зображення та його обробки безпосередньо на сенсорній матриці. 
Розглянемо деякі варіанти такої реалізації. 

1. Бінаризація зображення на сенсорній матриці може проводитись без аналого- 
цифрового перетворення (рис. 1) шляхом уведення в кожний елемент матриці компа- 
ратора і тригера (рис. 2); компаратор буде порівнювати зростаючу напругу на фото- 
детекторі з аналоговим порогом, заданим, наприклад, з мікроконтролера, через цифро- 
аналоговий перетворювач на всі елементи матриці |8|. Якщо напруга на фотодетекторі 
за обмежений час експозиції зросла до порогового рівня, спрацьовує компаратор і 
фіксує цю подію на тригері, встановлюючи його в одиницю. 

Тригери елементів сенсорної матриці з'єднані по рядкам та колонкам кільце- 
вими зв'язками для зсуву інформації по рядку або колонці та виводу її для послі- 
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дуючої обробки. Оцінюючи з допомогою мікроконтролера стан бінаризованого зо- 
браження, можна швидко підібрати порогове обмеження. 
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Рисунок 1 - Бінаризація зображення на сенсорній матриці 
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Рисунок 2 - Елемент матриці бінаризації 


2. Для визначення місцеположення об'єкта, його габаритних розмірів і центра 
ваги прямокутника, описаного навколо об'єкта, на виходи рядків і колонок матриці 
підключаються блоки лічильників рядків та колонок відповідно |3|. 

Тоді, шляхом зсуву інформації вздовж рядків і колонок матриці, з допомогою 
лічильників здійснюється паралельний підрахунок кількості ненульових елементів в 
рядках і колонках та оцінка стану лічильників з допомогою мікроконтролера. 

Нульове (або невелике) значення коду в лічильнику свідчить про відсутність 
об'єкта в цьому рядку або колонці. Наявність коду в лічильниках характеризує пере- 
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різи об'єкта по рядках або колонках. Сума кодів у лічильниках рядків або колонок 
характеризує площу об'єкта, просто обчислюється і центр прямокутника, описаного 
навколо об'єкта, та швидкість його руху. 

Наприклад, верхня координата об'єкта у! визначається по першому ненульовому 
стану лічильника в блоці лічильників рядків, а нижня координата у2 - по останньому 
ненульовому стану лічильника в блоці рядків. Ліва координата об'єкта х/ визначається 
по першому ненульовому лічильнику в блоці лічильників колонок, права х2 - по 
останньому. 

Габаритні розміри об'єкта визначаються так: Йх-х2-хі, Ду-у2-у!. Площа об'єкта 
визначається як сума накопичених чисел у лічильниках рядків або колонок: 5-2. - ММ). 

Центр прямокутника, описаного навколо об'єкта, визначиться так: х0-(хІ-- х2)/2, 
уб-(уІчу2)/2. Швидкість об'єкта може бути визначена як зміна місцеположення його 
центра між двома послідовними кадрами. 

Для підвищення точності визначення місцеположення об'єкта може бути використа- 
ний метод кількаразового зчитування відеоінформації з різними порогами до отримання 
стабільних результатів оцінки параметрів об'єкта або для уточнення порогу. 

Пристрій дозволяє також зменшити вплив імпульсних завад шляхом неврахування 
показників лічильників з малими значеннями кількості активних пікселів, що також доз- 
воляє підвищити точність оцінки місцеположення та параметрів об'єкта. 

Таким чином, бінаризація зображення здійснюється одночасно над всіма елементами 
матриці за час експозиції, лічильники паралельно підраховують кількість одиничних еле- 
ментів у рядках або колонках і тільки аналіз значно стиснутої інформації виконується 
послідовно за допомогою мікроконтролера. Тобто має місце значне прискорення усіх 
паралельних процесів без додаткової адресації даних. 

3. Обчислення моментів інерції бінаризованого зображення можна реалізувати на 
тій же матриці з додатковими суматорами-накопичувачами на рядки та колонки матриці 
(рис. 3), а також з формуванням за допомогою мікроконтролера послідовності кодів 
відстаней та їх квадратів від країв матриці |З). 
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Рисунок 3 - Блок обчислення моментів 
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При цьому суматори-накопичувачі 21-ХМ підсумовують відстані або їх квадрати 
для одиничних пікселів, які зсуваються вздовж рядків або колонок матриці і управляють 
цим підсумовуванням через елементи //. Таким чином у суматорах-накопичувачах 
формуються відповідні (перші або другі в залежності від того, відстані або їх квадрати 
подавались на входи блоку) моменти рядків або колонок, які послідовно зчитуються 
через елементи /2 на загальну шину і підсумовуються мікроконтролером. Узагальнені 
суми дають значення відповідних моментів всього зображення. 

4. Ще більш ефективною є морфологічна обробка бінаризованого зображення, яке 
отримується на сенсорній матриці. Фільтрація і покращення зображення здійснюєть- 
ся методами морфологічної обробки бінаризованого зображення. Логікові операції 
морфологічної обробки здійснюють між структурним елементом (маскою) 5 1 областю 
цифрового зображення, на яку накладається ця маска. Результат операції розміщують 
в ту ж бітову матрицю на місце, де знаходився фокус (центр) маски. При цьому вико- 
ристовують структурні елементи різної форми і розмірності. Найбільш розповсюдженими 
операціями морфологічної фільтрації для обробки бінаризованих зображень |10) є: 

- Ерозія (егозіоп), яка позначається символами 1.05 та здійснюється шляхом вико- 
нання логікової операції «І» між маскою 5 розміром пхи, що складається з одиниць, або 
нулів та одиниць, та фрагментом бінаризованого зображення /, який накривається цією 
маскою. Результати логікової операції множення формують новий масив зображення. 
Якщо фрагмент зображення, що покривається маскою, має хоча б один нуль, в елементі 
нового зображення, що відповідає положенню фокуса маски, встановлюється нуль. В ре- 
зультаті цієї операції усі фрагменти вихідного зображення, що по площі менші, ніж маска, 
зникають, а більші -- стискаються на розмір маски. 

- Нарощування (айаїоп) позначається символами ІЇме5 і виконується шляхом 
логікової операції «АБО» над елементами маски (крім центрального елемента - 
фокуса) та елементами фрагмента зображення, який покривається цією маскою. Якщо 
в цьому фрагменті знаходиться хоча б один одиничний елемент, в новому зображенні 
на місці фокуса маски встановлюється одиниця. В результаті цієї операції зображен- 
ня розширюється на розмір маски. 

- Відкриття (орепіп?) представляє собою комбінацію ерозії та нарощування, ЯКІ 
виконуються послідовно: 1,5 - (105) е 5. В результаті «відкриття» елементи з площею, 
меншою площі маски, зникають з зображення, а з більшою площею - відновлюються 
до своїх попередніх розмірів. 

- Закриття (сіозіпє) представляє комбінацію операцій ерозії та нарощування в 
зворотному порядку: 15 - (Іо) 0 5. 

При цьому елементи матриці (рис. 4) з'єднуються входами та виходами з 8-а 
сусідніми елементами матриці, а в кожному елементі (рис. 5) матриці додатково 
розміщуються блок логікової обробки та схеми комутації, які забезпечують відповід- 
ні зсуви інформації вздовж рядків та колонок матриці. 

Блок логікової обробки (рис. 6) містить логікові схеми «/» та «АБО», з допомогою 
яких виконуються операції «ерозія», «нарощування», «відкриття» та «закриття». 

Таким чином, буквально за декілька тактів проводяться операції морфологічної 
фільтрації всього зображення, після чого можуть бути більш точно виконані операції 
пошуку об'єкта, обчислення його параметрів та моментів інерції. 

5. Аналого-цифрове перетворення яскравості всіх елементів матриці може бути 
виконане методом розгортки по параметру, тобто шляхом подачі лінійно зростаючого 
сигналу на всі порогові елементи сенсорної матриці. При цьому в кожний елемент 
сенсорної матриці додатково уводиться лічильник, який починає лічення тактових 
імпульсів з початком розгортки лінійно зростаючого сигналу до моменту порівняння 
його з напругою на фотодетекторі, тобто спрацьовування порогового елемента. В лі- 
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чильниках матриці за час розгортки будуть зафіксовані цифрові еквіваленти потен- 
ціалів, які були накопичені на фотодетекторах за час експозиції. 


Світло 


Зсув вниз Бінаризація Поріг 


Управл. 
маскою ! 
ца 


момоищ 


чно мо 


Виходи колонок 


Рисунок 4 - Морфологічна оброботка на сенсорі 
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Рисунок 5 - Елемент матриці морфологічної обробки 
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Рисунок 6 - Блок логікової обробки 
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Ця інформація може бути виведена з сенсора по рядкам, колонкам або розрядними 
зрізами, а при подальшому ускладнені елементів сенсорної матриці або при передачі 
цієї інформації на інший шар елементів на ньому можуть бути проведені операції фільт- 
рації зображення від завад, підкреслення країв об'єкта, виділення контурів тощо. 

6. Логарифмічне або інше нелінійне сприйняття яскравості, що має місце в зоро- 
вому аналізаторі людини, може бути виконане паралельно і одночасно шляхом вико- 
ристання нелінійної розгортки сигналу та порівняння його з напругою на фотодетекторі. 

7. Виділення інформативних ознак з бінаризованого зображення (лінії, кути, 
межі об'єктів тощо) здійснюється шляхом згортки зображення з відповідними масками 
розміром 3х3, 5х5 або іншими. 

8. Фільтрація зображень від завад здійснюється шляхом згортки зображення з 
відповідними масками. 

9. Виділення інформативних ознак з оцифрованого зображення також вимагає 
операцій згортки. 

10. Одно або багатошарова нейромережна обробка є найбільш складною і ви- 
магає значно більших витрат апаратури. 

Для п.п. 6- 10 можуть бути використані ідеї, алгоритми та технічні рішення з 
монографії (111. 

Звичайно при реалізації цих пристроїв можливі проміжні (паралельно-послідовні) 
варіанти: 

- апаратна реалізація обробки одного або декількох рядків (колонок); 

- апаратна реалізація одного або декількох нейронів тощо. 

Свої особливості мають такі види обробки інформації, як визначення місцеполо- 
ження об'єкта, його габаритних розмірів, площі і центра ваги прямокутника, описаного 
навколо нього, обчислення моментів інерції об'єкта або зображення, статистична об- 
робка ознак зображення тощо. Вони також широко розпаралелюються, але, в основ- 
ному, на рівні рядків або колонок. 

Таким чином, системний підхід до процесів уведення, сприйняття та обробки 
зображень дозволяє значно ефективніше організувати обчислення, виключити розробку 
програмного забезпечення та зайві пересилки інформації, на багато порядків підвищити 
продуктивність цих процесів. 


Висновок 

Прототипом для відеосистем реального часу вибраний зоровий аналізатор людини, 
зокрема ті його особливості, які в найбільшій мірі впливають на відповідність умовам 
реального часу. Це висока вибірковість, адаптація до умов спостереження та розв'я- 
зуваних задач, а також широке розпаралелювання обробки інформації на нейромережі. 

Показано, що зменшення надлишковості при інтелектуальному сприйнятті відео- 
інформації або суміщення процесів уведення і паралельної обробки інформації без- 
посередньо на сенсорній матриці задовільняють високі вимоги реального часу та 
сприяють значному розширенню динамічного діапазону досліджуваних процесів. 
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